package com.wuji1626.spark.rdd.create

import org.apache.spark.{SparkConf, SparkContext}

object RDD_File_Create {
  def main(args: Array[String]): Unit = {
    // Step1: 准备环境
    val sparkConf = new SparkConf().setMaster("local[*]").setAppName("RDDCreate")
    val sc = new SparkContext(sparkConf)

    // Step2: 创建 RDD
    // path 可以是绝对路径也可以是相对路径
    // 如果指定目录，表示将目录下的文件逐个逐行读取
//    val rdd = sc.textFile("datas/1*.txt")
//    rdd.collect().foreach(println)
    val rdd = sc.wholeTextFiles("datas")
    rdd.collect().foreach(println)

    // Step3: 关闭环境
    sc.stop()
  }
}
